Андрю Нг: „Смятаме ли, че светът е по-добър с повече или по-малко интелигентност?“

Преди малко повече от десетилетие Андрю Нг беше част от план на Гугъл Brain, който сподели силата на технологията за надълбоко образование.

В продължение на три дни екипът на Ng зареди невронна мрежа с милиони немаркирани изображения от видеоклипове в YouTube. След образование системата може да разпознава характерности като котки в изображения, които не е срещала преди - макар че не е била категорично научена по какъв начин. Това проучване стана импровизирано известно като „ Хартията за котки “ и сложи основите за предстоящ прогрес в региона на изкуствения разсъдък.

Приблизително по същото време, от мястото си като професор в Станфорд, Нг навлезе в онлайн преподаването, като направи курс по машинно образование наличен за всеки с интернет връзка. Неговата известност, дружно с тази на други „ солидни отворени онлайн курсове “ или Moocs, по това време накара Ng и сътрудника му Daphne Koller да основат снабдител на онлайн образование Coursera.

Няколко години по-късно Ng се реалокира в Baidu, китайския колос за търсене, с цел да подкрепи задълбочаването на напъните си за самостоятелно шофиране и проучвания на AI. Днес той влага и построява набор от започващи компании за изкуствен интелект, ръководи един от своите и продължава да преподава курсове по изкуствен интелект.

Когато FT посети офисите на Ng в Пало Алто, той извади преносим компютър и изключи неговия WiFi, с цел да показва по какъв начин огромен езиков модел (LLM) с отворен код от френския започващ AI Mistral може да работи без потребност за изпращане на данни в облака.

„ Моделът се записва на моя корав диск и по-късно употребява GPU и CPU [блок за графична обработка и централен процесор] на моя преносим компютър, с цел да направи единствено заключения “, сподели той. Когато беше заложен въпросът какво би трябвало да попита един кореспондент на Andrew Ng за AI, фонът, който даде на Ng и работата му, изглеждаше като тип отговор, който човек би получил от ChatGPT, хитовия чатбот на OpenAI, задвижван от LLM.

Застъпник на създаването на AI с отворен код, Ng се обрисува като открит критик на някои старания на държавното управление да го контролира. Тук той приказва за актуалните благоприятни условия на AI, за какво предизвестията за риск от изгубване са пресилени и по какъв начин би изглеждало положителното контролиране.

Райън Макмороу: Кога употребявате тези AI с отворен код модели?

Андрю Нг: Пускам няколко модела на моя преносим компютър — Mistral, LLaMa, Zefa. И аз употребявам ChatGPT много постоянно. Но за чувствителни към поверителността неща, които не желая да адресирам на заоблачен снабдител, бих податлив да ги употребявам всички на моя преносим компютър. Като мозъчна офанзива за в действителност поверителни планове или да ми помагате с писане, което съдържа чувствителни финансови числа. Езиковите модели с отворен код в действителност стават много положителни.

RM: И въпреки всичко доста софтуерни компании обезверено желаят чиповете на Nvidia да ръководят AI. Защо да се тормозят, в случай че моделът Mistral на вашия преносим компютър може да се оправи?

AN: Това е по-малък езиков модел: има единствено 7 милиарда параметъра и не е конкурентен на GPT-4 за комплицирани задания за размишление. GPT-4 е доста по-добър в отговарянето на комплицирани въпроси. Но за елементарна мозъчна офанзива, елементарни обстоятелства, това е добре. И от време на време е много бързо, както виждате.

Обучението на модел от нулата обаче е изцяло неосъществимо на моя преносим компютър — това към момента изисква десетки милиони долари. Обучение, което употребява голямото количество калкулации и заключения [решаване на проблеми със свежи данни] на доста огромните модели, би надхвърлило това, което бих могъл да направя на моя преносим компютър.

Всъщност направих заключения по параметър от 70 милиарда модел на моя преносим компютър и е досадно муден. И по този начин, в случай че имате модел със 175 милиарда параметри, който е с размер на GPT-3, това няма да е нещо, което мога да направя на моя преносим компютър. Изводът върху огромните модели към момента се нуждае от запаси на равнище център за данни.

Моделът с отворен код може да се употребява за създаване на доста типове приложения. Ако регулирате тази съществена технология, вие забавяте всичко и евентуално без да вършиме нищо по-безопасно

Софтуерът с отворен код става задоволително елементарен за множеството хора, с цел да го конфигурират и употребяват в този момент. И не че съм захласнат от регулации – само че в случай че някои от регулаторите имат своето, ще бъде доста по-трудно да се оставят модели с отворен код като този да продължат.

RM: Как регулациите биха нарушили отворения код?

AN: Някои оферти, да вземем за пример, имат условия за отчитане или даже лицензиране за LLM. И до момента в който огромните софтуерни компании разполагат с честотната лента, с цел да се оправят със комплицирано сходство, по-малките предприятия просто не го вършат.

Само като образец си представям приблизително огромна компания, която желае да пусне модел с отворен код. Ако юрист в тази компания стартира да споделя: „ Хей, единствено с цел да знаете, може да има всевъзможни типове отговорност, в случай че извършите това “, тогава мисля, че по-малко компании биха поели този риск от отговорност. На каквото и да сложим повече регулаторни тежести, това ще забележим по-малко.

Моделът с отворен код е технология с общо предопределение: може да се употребява за създаване на приложение за опазване на здравето, приложение за обслужване на клиенти, приложение за финансови услуги и още и още. Така че, в случай че регулирате тази съществена технология, вие забавяте всичко и евентуално без да вършиме нещо доста по-безопасно.

RM: Оформянето на всяка полемика за контролиране би трябвало да бъде чувство за това на какво е кадърен ИИ – за това къде се намира ИИ през днешния ден. А през юни имахте диалог с Джефри Хинтън [компютърен академик, който предизвести за заплахите от AI] за това дали моделите на AI схващат света и изглеждаше, че не сте изцяло уверени, че го схващат. Какъв е сегашният ви мироглед?

AN: Мисля, че го вършат. Един от проблемите с термини като „ схваща “ или даже по-далеч „ умишлен “ или „ умишлен “ е, че те не са добре дефинирани. Така че няма необятно признат тест за това по кое време нещо схваща нещо, за разлика от това просто да наподобява, че схваща нещо.

Но от научните доказателства, които съм виждал, AI моделите в действителност построяват модели на света. И по този начин, в случай че AI има модел на света, тогава съм податлив да имам вяра, че той схваща света. Но това е използване на моето лично чувство за това какво значи думата „ схващане “.

RM: Какво имате поради под модел на света?

AN: Ако имате модел на света, тогава имате визия по какъв начин работи светът и можете да вършиме прогнози за това по какъв начин може да се развие при разнообразни сюжети. И има научни доказателства, показващи, че LLM, когато са подготвени на доста данни, в действителност построяват международен модел.

Това, което направиха откривателите, беше главно да вземат LLM и да го обучат да моделира придвижвания в настолната игра Othello — C4, D5, B3, каквото и да е. И тогава, откакто Othello-GPT, както го нарекоха, се научи да планува идващия ход, те попитаха: „ Тази система научи ли модел на дъската и научи ли модел на разпоредбите на играта Othello? ”. И когато го изследваха, вътрешностите на невронната мрежа наподобява построиха модел на дъската, с цел да предскажат идващите ходове. Поради този опит и други като него, имам вяра, че LLM построяват, вътрешно, някакъв модел на света и по тази причина се усещам удобно да кажа, че схващат света.

RM: Мислите ли, че те също имат схващане?

AN: Може да заобиколя въпроса за съзнанието, тъй като ми се коства по-скоро като метафизичен въпрос, в сравнение с като теоретичен. Мисля, че философите споделят, че като хора, от вежливост, ние всички одобряваме, че другите хора са в схващане - само че по какъв начин да разберете дали аз съм в схващане? Може би съм просто зомби и просто се държа като умишлено създание. Така че мисля, че няма тест за съзнанието, заради което това е по-скоро метафизичен, в сравнение с теоретичен проблем.

RM: Оставяйки настрани съзнанието, мислите ли, че LLM може да мисли независимо?

AN: Не мисля знам какво значи тази фраза. Склонен съм да кажа да, само че заради неналичието на ясна формулировка какво значи да мислиш, е мъчно да се каже. Може ли релеен комутатор в моята таванна лампа да мисли самичък? Има цялостен набор [който включва] този тип релеен комутатор, който мисли самичък за себе си ... Бих бил податлив да кажа, че е по този начин, само че мисля, че ще ми е мъчно да го защитя по непоколебим метод.

RM: Кога LLMs стигнаха до точката на разбирането?

AN: Разбирането идва последователно. Не мисля, че това е бинарен аршин. Но с повишаването на LLM и имахме GPT-2, GPT3, ChatGPT, имам възприятието, че те показват възходящи равнища на схващане - до точката, в която се усещам много удобно да кажа, че до известна степен LLM схващат света през днешния ден.

RM: Ако се одобри, че LLM имат потенциала да схващат, дебатът за AI наподобява се свежда до оптимисти като вас, които се концентрират върху това, на което технологията е способна сега, и doomers, които се концентрират върху проектирането какво ще значи експоненциалният прогрес, който виждаме, за бъдещето. Смятате ли, че има причина да екстраполирате като тях?

AN: Не съм склонен с тази характерност. Много от оптимистите на AI гледат десетилетия в бъдещето към невероятните неща, които можем да изградим с AI. Когато мисля за сюжетите за изгубване на хора с ИИ, когато приказвам с хора, които споделят, че са загрижени за това, техните опасения наподобяват доста неразбираеми. И наподобява никой не може да формулира тъкмо по какъв начин AI може да убие всички ни.

Ние изразходваме извънредно непропорционални запаси против риск, който е съвсем нулев

Не мога да потвърдя, че изкуственият разсъдък няма да ни убие всички, което е еднакво на доказване на негатив, както не мога да потвърдя, че радиовълните, предавани от Земята, няма да позволен извънземни да ни откри и да ни унищожи. Но не съм прекомерно угрижен за това, че нашите радиовълни водят до нашето изгубване, и по сходен метод не виждам по какъв начин изкуственият разсъдък може да докара до изгубването на хората.

RM: Все още има уважавани учени, които считат, че има някакъв късмет за това. Предполагам, че въпросът е: по какъв начин ние като хора би трябвало да сме сигурни, че развиването на ИИ няма да докара до нашето изгубване?

AN: Има и някакъв късмет, който е безусловно не- нула от нашите радиосигнали, които карат извънземните да ни намерят и да ни унищожат всички. Но шансът е толкоз дребен, че не би трябвало да хабим непропорционални запаси, с цел да се защитим от тази заплаха. И това, което виждам, е, че изразходваме извънредно непропорционални запаси против риск, който е съвсем нулев.

RM: Така че във връзка с регулирането, какво да вършиме, в случай че има такова имаме потребност?

AN: Имаме потребност от положително контролиране. Когато използваме AI за създаване на сериозни приложения, регулациите, които да подсигуряват, че те са безвредни и пазят потребителите, са безусловно нужни. Но това, което виждам, е доста неприятно контролиране на ИИ и нямаме потребност от повече от това.

RM: Какво е положително и неприятно контролиране в резюме?

AN: Ако някой основава приложение за опазване на здравето, обезпечаване или самоуправляващи се коли, желаеме то да е безвредно и независимо. Възприемането на стъпаловиден метод към риска – обсъждане на действителните опасности с приложенията и контролиране против неприятния резултат – би било положително контролиране.

Но има тази фраза, че LLM съставляват систематичен риск и че няма смисъл за мен. Някои държавни управления просто настояват, че LLM съставляват по-голям риск, само че хората могат да основават рискови медицински устройства с дребен езиков модел или с огромен езиков модел. И хората могат да изградят системи за дезинформация с дребен или огромен езиков модел. Така че размерът на езиковия модел е доста слаба мярка за риск.

По-добра мярка би била: какво е естеството на приложението? Защото приложенията в опазването на здравето ще бъдат по-рискови да вземем за пример. Друг индикатор би бил обсегът на приложението. Ако компания за обществени медии има 100 милиона консуматори, рискът от дезинформация е доста по-голям от табло за известия единствено със 100 консуматори. И затова ще контролираме повече огромните софтуерни компании.

Това е нормална процедура. Например американските закони Osha [Администрация за сигурност и здраве при работа] слагат повече условия към огромните работодатели, в сравнение с към дребните работодатели. Това балансира отбраната на служащите и не натоварва прекомерно дребния бизнес.

RM: През октомври Белият дом издаде изпълнителна заповед, предопределена да усили държавния контрол върху ИИ. Стигна ли прекомерно надалеч?

AN: Мисля, че предприехме рискова стъпка. Ако трябваше да запишем в конституцията, че бариерите пред развиването на AI технологиите ще спрат тук и няма да продължат по-нататък, може би е добре. Но с разнообразни държавни организации, натоварени с измислянето на спомагателни трудности за развиването на ИИ, мисля, че сме о